کاربرد تکنیک‌های NLP در پردازش متن (بخش هفتم)

کاربرد تکنیک‌های پردازش زبان طبیعی در پردازش متن (بخش ششم)
 

یکی از حوزه‌هایی که در سال‌های اخیر توجه پژوهشگران زیادی را به خود جلب کرده است غلط‌یابی و نرمال‌سازی متن است. نرمال‌سازی به معنای تبدیل متن به شکل استاندار و نوشتاری زبان موردنظر است (jurafsky and martin, 2009).  در بخش قبل در ابتدا به تعریف مبانی نظری موضوع موردنظر پرداخته شد، حال در این بخش از آموزش nlp راجع به الگوریتم‌های دیگری در زمینه غلط‌یابی و نرمال‌سازی صحبت خواهیم کرد. سپس پژوهش‌هایی که تاکنون در زبان فارسی انجام شده است نیز مورد بحث قرار می گیرد. 

پردازش زبان طبیعی فارسی (NLP) - مقدمه
پردازش زبان طبیعی فارسی Persian natural language processing
مقدمه
این ایده که کامپیوترها بتوانند زبان انسان را پردازش و درک کنند به سال‌های ابتدایی اختراع کامپیوترها بازمی‌گردد و بشر همواره به دنبال این مهم بوده است که بتواند به‌وسیله زبان طبیعی انسان با کامپیوترها ارتباط برقرار نماید. در این مبحث ما یک گرایش بین‌رشته‌ای را معرفی خواهیم کرد که وظیفه فهماندن زبان انسان به کامپیوتر را برعهده دارد. این گرایش با نام‌‎های مختلفی ازجمله پردازش زبان طبیعی (Natural Language processing)، فناوری زبان (Language technology)، زبان‌شناسی رایانشی (Computational linguistics) در بهترین و معتبرترین دانشگاه‌های دنیا ازجمله دانشگاه Stanford در حال توسعه می‌باشد. در این گرایش از اصول هوش مصنوعی، علم کامپیوتر، زبان‌شناسی، ریاضیات، آمار، روان‌شناسی و دیگر علوم مرتبط بهره گرفته می‌شود. امروزه، تکنیک‌های پردازش زبان طبیعی در زندگی روزمره ما بسیار نقش بسزایی را ایفا می‌کنند.